Modern LLM döneminde standart tarif iki temel sütuna dayanıyor: sabit bir tokenizer ve bir sonraki token’ı (belirteç) tahmin etme. Metin token’lara dönüştürülüyor ve model bir sonraki token’ı tahmin ederek öğreniyor. Yakın zamanda yayınlanan iki araştırma bu tarifi iki farklı açıdan sorguluyor.

Meta’nın Byte Latent Transformer’ı (BLT), acaba token’lara gerçekten ihtiyacımız var mı diye soruyor. Shanghai AI Lab ve Shanghai Jiao Tong University araştırmacılarının Next Concept Prediction (NCP) çalışması ise asıl sorunun bir sonraki token’ı tahmin etmek olup olmadığını sorguluyor. Bu yaklaşımlardan herhangi biri başarılı olursa, etkileri tek bir mimari tercihin çok ama çok ötesine geçebilir ve tüm yapay zeka endüstrisini ve dolayısıyla dünyayı etkileyebilir. Burada hemen şunu da ekleyelim, yapay zeka mimarileri zaten daima aşama aşama gelişiyor. Burada bu iki makaleyi ele almamızın sebebi etkilerinin sıradan bir duruma göre daha fazla olabilme ihtimalini göz önüne almaktan dolayıdır. Şimdi önce bunların her ikisine de kısaca bir bakalım ve daha sonra üzerine konuşalım.

1. Belki de Token’lara İhtiyacımız Yok

Modern LLM’ler önce metni sabit bir kelime dağarcığı kullanarak token’lara ayırıyor. Bu yöntem iyi çalışıyor, ancak çok dilli metin, kod, sayılar, alışılmadık girdiler ve karakter düzeyinde anlama gibi alanlarda bilinen bazı zayıflıklar yaratıyor.

BLT tokenizer’ı tamamen ortadan kaldırıyor ve doğrudan ham byte’lar üzerinde çalışıyor. Temel fikir dynamic patching: her byte’ı ayrı ayrı işlemek yerine BLT, byte’ları o metin bölümünün ne kadar tahmin edilebilir olduğuna bağlı olarak patch’ler halinde grupluyor. Tahmin edilebilir bölgeler daha büyük patch’ler ve daha az işlem gücü alırken, karmaşık ve yüksek entropili bölgeler daha küçük patch’ler ve daha fazla işlem gücü alıyor. Girdi ve çıktı hâlâ byte’lardan oluşuyor, ancak pahalı transformer hesaplaması patch düzeyinde gerçekleşiyor. Model, her token’a eşit miktarda işlem gücü ayırmak yerine, bütçesini bilginin gerçekten zor olduğu yerlere harcıyor.

Bu esneklik bedelsiz değil. Patch sınırları, bir sonraki byte’ın ne kadar şaşırtıcı olduğunu tahmin eden bir entropi modeli tarafından belirleniyor; bu da mimariye ek bir karmaşıklık ve bir miktar ek yük getiriyor. Dolayısıyla her iş yükünde geçiş yapmak anında bir avantaj sağlamıyor.

Meta bunu 8B parametreye ve 4 trilyon eğitim byte’ına kadar gösterdi. Makale, kontrollü karşılaştırmalarında Llama 3 gibi tokenization kullanan modellerle training-FLOP parity bildirirken, BLT’nin test edilen koşullarda küçük değerlendirme kayıpları karşılığında inference FLOP’larını yaklaşık %50’ye kadar azaltabildiğini gösteriyor. Geriye kalan önemli sorun üretim: saf byte-by-byte çözümleme, token düzeyindeki üretime göre daha fazla adım gerektiriyor. Meta’nın devam çalışmaları olan BLT-D ve BLT-DV ise difüzyon ve doğrulama kullanarak her adımda birden fazla byte üretmeyi hedefliyor ve bellek bant genişliği maliyetlerinde önemli düşüşler bildiriyor.

Alternatif byte-level çalışmalar da aynı iddiayı farklı bir açıdan ele alıyor. Ai2’nin Bolmo’su, sıfırdan eğitim yapmak yerine mevcut bir Olmo checkpoint’ini “byteify” ediyor. Bu da bunun yalnızca tek bir ekibin yan projesi olmaktan çıkıp gerçek bir araştırma yönüne dönüşmekte olduğuna işaret ediyor.

2. Belki de Bir Sonraki Token’ı Tahmin Etmek Yeterli Değil

İkinci gelişme, tokenization’dan daha temel bir noktayı sorguluyor. Günümüz LLM’leri temelde tek bir soru etrafında eğitiliyor: sıradaki token nedir? NCP buna ikinci bir soru ekliyor: sıradaki kavram nedir?

Araştırmacılar, modelin kendi gizli durumlarından kavramlardan oluşan ayrık bir gizil kelime dağarcığı oluşturuyor — insan tarafından tanımlanmış fikirler değil, token’ların kısa aralıkları üzerinden vektör nicelemeli (vector-quantized) kodlar — ve modeli bu kavramları tek tek token’lara ek olarak tahmin edecek şekilde eğitiyor. Üretim hâlâ token-by-token gerçekleşiyor. Concept head, decoder’ın yerine geçen bir yapı değil; ek bir eğitim hedefi ve dahili yönlendirici olarak kullanılıyor. Buradaki fikir, modelin bildiği her şeyi token-by-token tahminler üzerinden ifade etmek yerine daha yüksek seviyeli yapılar öğrenmesini teşvik etmek.

Bu artık küçük ölçekli bir proof of concept değil. Eylül 2026 tarihli NCP-ArchPreview modelinin 8.9B parametresi bulunuyor ve 5.73 trilyon token ile eğitildi. Araştırmacılar, OLMo-3-7B’nin nihai eğitim kaybı seviyesine toplam eğitim token’larının yalnızca %51.3’ünü kullanarak ulaştıklarını; ayrıca downstream benchmark’larda 2.45 puan ve özellikle GSM8K’da 5.99 puanlık artış elde ettiklerini bildiriyor. Bunlar güçlü sonuçlar, ancak tek bir ekibin sonuçları ve öne çıkan kayıp karşılaştırması daha küçük olan 7B modeline karşı yapılıyor. Rapor ayrıca NCP-ArchPreview’nin parametre sayısı eşleştirilmiş 8.9B baseline modelinin eğitim kaybı seviyesine yaklaşık %85 işlem gücü kullanarak yaklaştığını söylüyor. Sonuçların kesin kabul edilmesinden önce bağımsız olarak tekrarlanması gerekiyor. Ayrıca bunlar hâlâ günümüz frontier eğitim çalışmalarında kullanılan işlem gücü miktarlarının oldukça altında.

Bir Soru: Ya İkisini Birleştirsek?

BLT temsil katmanını sorguluyor — bir model neden en başta token’lar üzerinden düşünmek zorunda olsun? NCP ise tahmin hedefini sorguluyor — neden esas olarak bir sonraki token’ı tahmin etmeyi optimize etsin?

İkisini bir araya getirdiğinizde şöyle bir şey ortaya çıkabilir: ham byte’lar → dynamic latent patch’ler → kavram tahmini → kavram yönlendirmeli üretim → byte’lar. Böyle bir işlem hattı sabit bir kelime dağarcığı gerektirmez, her yerde eşit miktarda işlem gücü harcamaz ve tüm akıl yürütme sürecini tek tek token tahminleri üzerinden yürütmek zorunda kalmaz.

Bu kombinasyon Robot Haber’in kendi sorusudur; iki makalenin hiçbiri bunu önermiyor — ayrıca bu fikirleri bir araya getirmek yalnızca bir diyagram çizmekten ibaret değil. Patch’ler, değişken uzunluktaki byte aralıklarında yerel tahmin edilebilirliği sıkıştırıyor. Kavramlar ise birden fazla token’a yayılan anlamı sıkıştırıyor. Bu sınırlar otomatik olarak örtüşmeyecek: bir patch bir kavramın ortasından geçebilir ve bir kavram birçok patch’i kapsayabilir. Herhangi bir kombinasyon, yerel ve entropi güdümlü birimler ile küresel gizil birimler arasında bir köprü gerektirir. Bu bir mühendislik problemidir; bedava bir yükseltme değildir. Bu iki makaleyi birlikte okumak için asıl neden de bu: aynı yığının farklı katmanlarına saldırıyorlar.

Akla Gelen Sorular

Her biri kendi başına daha iyi LLM’ler üretebilir mi? Prensipte evet — her biri tek başına çalışabilir. Ancak frontier ölçekte bunu yapıp yapamayacakları hâlâ açık bir soru. BLT, tokenizer’ı ortadan kaldırıp işlem gücünü dinamik olarak dağıtarak temsili ve verimliliği geliştirebilir. NCP ise daha yüksek seviyeli bir tahmin hedefi sağlayarak soyutlamayı ve potansiyel olarak akıl yürütmeyi geliştirebilir; aynı zamanda modele daha üst düzey bir hedef verdiği için eğitim verimliliğini de artırabilir. Birinin çalışması diğerine bağlı değil.

Gerçek dünyada kullanım var mı? Henüz kanıtlanmış bir ticari alternatif olarak değil. Bu yaklaşımlardan hiçbiri herhangi bir önde gelen frontier modelin arkasındaki mimarinin yerini kamuya açık şekilde almış değil ve hiçbir büyük yapay zekâ laboratuvarı — OpenAI, Anthropic, Google DeepMind, xAI — bir sonraki amiral gemisi modelini bunlardan birine geçireceğini açıklamadı. Bununla birlikte araştırma ürünleri kamuya açık: BLT kodunu yayınladı; Bolmo ve NCP-ArchPreview ise open weights sunuyor, dolayısıyla araştırmacılar bunları zaten çalıştırabiliyor. Henüz var olmayan şey bir üretim paradigması. Meta hâlâ BLT’yi geliştiriyor, Ai2 Bolmo üzerinde çalışıyor ve Shanghai AI Lab/SJTU ekibi NCP’yi trilyonlarca token içeren eğitim çalışmalarına kadar ölçeklendirmiş durumda. Bunlar ciddi araştırma çalışmaları; henüz alternatif bir mimari yığın değil.

Bu sonuçta trilyon dolarlık bir fark yaratabilir mi? Potansiyel olarak evet. Eğer bu mimarilerden biri eğitim ve inference başına anlamlı ölçüde daha fazla zekâ sağlayabilirse, ekonomik etkiler katlanarak büyüyebilir: böyle bir avantaja sahip bir laboratuvar aynı bütçeyle daha büyük modeller eğitebilir, kullanıcılara daha düşük maliyetle hizmet verebilir veya tasarrufu bir sonraki modeline yeniden yatırabilir. Frontier ölçekte yapısal bir verimlilik avantajı rekabet avantajına dönüşebilir. Ancak “potansiyel olarak trilyon dolarlık bir teknoloji” ile “bugün trilyon dolarlık bir yatırım tezi” arasında gerçek bir fark var ve şu anda bu farkın yanlış tarafındayız.

Mevcut LLM dönemi sona mı eriyor? Bilmiyoruz ve dürüst cevap bu. Tokenize edilmiş transformer’lar ve bir sonraki token’ı tahmin etme yöntemi olağanüstü başarılı oldu ve ne BLT ne de NCP endüstrinin bunları terk etmesi gerektiğini kanıtladı. Her iki makaleyi de dikkat çekici kılan şey, aynı tarif üzerinde yıllarca süren ölçeklendirme sonrasında neredeyse görünmez hâle gelen varsayımları sorgulamaları. Belki token’lar temel değil. Belki bir sonraki token’ı tahmin etmek de temel değil. Bunlardan biri frontier ölçekte önemli ölçüde daha iyi çıkarsa — veya birileri ikisini birleştirirse — sonuçlar mimari diyagramlarıyla sınırlı kalmayacak. Tüm yapay zekâ endüstrisinin ekonomisinde kendini gösterecek. İzlenmeye değer olan kısım bu.

Kaynaklar

BLT — Meta Tokenization’ı ortadan kaldırmayı ele alan ilk makale. Byte Latent Transformer (BLT) — arXiv: https://arxiv.org/abs/2412.09871

NCP — orijinal makale Next Concept Prediction’ı tanıtan makale. Next Concept Prediction — arXiv: https://arxiv.org/abs/2602.08984

NCP-ArchPreview — yeni teknik rapor Makalede ele aldığımız 8.9B model ve 5.73T token ile yapılan büyük ölçekli devam çalışması. NCP-ArchPreview Technical Report — arXiv: https://arxiv.org/abs/2609.10715

Yazan: A. Tuter

---

Kullanım Koşulları: İçeriklerimizin her hakkı saklıdır, izinsiz olarak kopyalanamaz, yayınlanamaz. Paylaşımlarımızı tarihli olarak kaydetmekteyiz. İçeriklerimizde hata ve eksiklikler olabilir. Bahsi geçen ticari markalar sahiplerine aittir; bunlarla ve bahsi geçen diğer özel veya tüzel kişilerle ilişkimiz bulunmamaktadır ve bu içerik onay anlamı taşımaz. Kullanım koşulları sayfamızı ziyaret ediniz.